Lý Mật quê ở huyện Vũ Dương, quận Kiền Vi.[1] Ông nội Lý Mật là Lý Quang từng làm thái thú Chu Đề.[2] Lý Mật từ nhỏ cơ hàn, mới sáu tháng tuổi thì cha chết, bốn tuổi mẹ tái giá, được bà nội Lưu thị nuôi nấng trưởng thành. Lý Mật lấy hiếu mà nổi tiếng. Có lần bà nội bị bệnh, Mật khóc lóc thảm thiết, gặp lúc tối khó tìm được thầy thuốc, bèn đứng hầu hạ ở cạnh giường. Đồ ăn, bát thuốc đều phải nếm thử rồi mới dâng lên.[1]

Lý Mật tuy gia cảnh không tốt nhưng lại hiếu học, theo học Tiều Chu, đọc thông Ngũ kinh, chuyên Tả truyện, lại đọc rộng biết nhiều, lấy tài văn chương mà bước vào quan trường. Tiều Chu từng ví Lý Mật cùng Trần Thọ với môn đồ Tử Du, Tử Hạ của Khổng Tử.[1][2] Lý Mật ban đầu được trưng làm Ích châu lệnh, Thượng thư lang, lại vào phủ Đại tướng quân (chưa rõ là Tưởng Uyển hay Phí Y), giữ chức Chủ bộ, chuyển chức Thái tử tiển mã.[2]

Lý Mật từng đi sứ Đông Ngô, Tôn Quyền hỏi Mật rằng quân Thục có bao nhiêu. Mật trả lời: Quan dụng hữu dư, dân gian tự túc (của công có thừa, dân gian tự đủ). Tôn Quyền cùng quần thần lại chuyển sang bàn luận về đạo nghĩa gia đình, đều muốn nhận làm em. Mật lại nói rằng: Ta nguyện làm huynh trưởng. Lại nói: Làm anh càng có nhiều thời gian chăm sắc cha mẹ. Quân thần Đông Ngô đều nể phục.[1][2]